受到Mishchenko等人(2022)的最新突破的启发,他们首次表明局部梯度步骤可以导致可证明的通信加速,我们提出了一种替代算法,该算法获得了与他们的方法相同的通信加速度(Proxsskip)。但是,我们的方法非常不同:它基于Chambolle和Pock(2011)的著名方法,并具有多种不平凡的修改:i)我们允许通过适当的强烈凸出功能的代理操作员进行不精确的计算。基于梯度的方法(例如,GD,Fast GD或FSFOM),ii)我们对双重更新步骤进行仔细的修改,以保留线性收敛。我们的一般结果为强凸孔座鞍点问题提供了新的最先进率,其双线性耦合为特征,其特征是双重功能缺乏平滑度。当应用于联邦学习时,我们获得了Proxskip的理论上更好的替代方案:我们的方法需要更少的本地步骤($ O(\ kappa^{1/3})$或$ o(\ kappa^{1/4})$,与Proxskip的$ O(\ kappa^{1/2})$相比,并执行确定性的本地步骤。像Proxskip一样,我们的方法可以应用于连接网络的优化,我们在这里也获得了理论改进。
translated by 谷歌翻译